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视听 跨 通 道 对 应 (audiovisual crossmodal correspondence) 在 不 同类 型 的 视 、 听 刺激 之 间 被 广泛 发 现 , 但 其 发 
回 抑 制 (inhibition of return, IOR) 对 于 视听 跨 通道 对 应 的 影响 。 
目标 之 间 的 空间 位 置 一 致 性 和 听觉 音调 与 视觉 目标 位 置 之 间 的 跨 通 道 对 应 一 致 性 ,结果 发 现 


TOR 效应 和 视听 跨 通 道 对 应 存在 交互 作用 , 线索 化 位 置 存 在 稳定 的 视听 跨 通 道 对 应 效应 ,而 非 线 索 化 位 置 的 视听 
跨 通 道 对 应 效应 消失 。 实 验 2 操纵 无 关 听觉 刺激 是 否 出 现 , 发 现 IOR 效应 与 单独 的 声音 出 现 与 否 不 存在 交互 作 
的 混淆 。 实 验 3 通过 延长 线索 和 目标 的 间隔 时 间 (stimulus onset asynchronies, SOA), 发 
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排除 了 警觉 效应 对 于 
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伴随 着 IOR 效应 减弱 , 线索 化 位 置 的 视听 跨 通道 对 应 效应 


世相 应 减弱 ， 且 IOR 效应 对 于 视听 跨 通 道 对 应 的 调节 作 


用 减弱 。 研 究 表明 , 仅 当 听觉 刺激 与 视觉 空间 位 置 之 间 发 生 跨 通道 对 应 时 , 才 会 与 同样 发 生 在 知觉 水 平 的 IOR 


效应 产生 交互 , 支持 了 视听 跨 通 
应 原则 。 
关键 词 。 视听 跨 通道 对 应 , 返回 
分 类 号 B842 


引言 


人 类 依靠 多 个 感觉 通道 去 感受 周围 的 坏 境 ， 不 
同感 觉 通道 间 信 和 号 的 结合 会 促进 人 类 的 行为 反应 ， 
这 一 现象 被 称 为 多 感觉 反应 增强 (Frassinetti et al., 
2002; Stein et al., 1989)。 以 往 对 于 多 感觉 反应 增强 
的 研究 集中 于 多 感觉 整合 (McCracken et al., 2019; 
Starke et al., 2017)。 多 感觉 整合 是 指 当 不 同感 觉 通 
道 的 信息 具有 时 空 邻近 性 时 , 个 体 将 这 些 信息 进行 
KE DATE ME bt AA ER SCY Ze TIE (G2 WEE, 2019; 
Tang et al., 2016). 视觉 和 听觉 输入 信息 的 整合 被 称 
为 视听 觉 整 合 (audiovisual integration)， 相 比 于 单一 
视觉 或 听觉 ， 视 、 听 双 通 道 的 整合 会 产生 元 余 效 应 
(redundant effecD)， 促 进 被 试 对 于 双 通 道 刺 激 的 探 
测 和 辨别 ( 茧 姓 等 , 2019; 唐 晓 雨 等 ,2020; Stein 
& Stanford, 2008; Talsma & Woldorff, 2005)。 如 相同 
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道 对 应 发 生 在 知觉 阶段 。 同 时 研究 结果 支持 视听 跨 通道 对 应 的 发 生 符合 反比 效 
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位 置 同时 呈现 的 视觉 和 听觉 刺激 提供 了 相同 的 空 
间 和 时 间 信 息 ， 提 高 了 个 体 的 反应 能 力 (Spence, 
2013)。 

以 往 研 究 发 现 , 视 、 听 刺激 除了 以 一 种 元 余 的 
方式 影响 被 试 的 反应 外 , 还 能 以 一 种 非 元 余 的 方式 
对 被 试 的 反应 产生 影响 ， 即 视 、 听 刺激 提供 了 两 种 
不 同 维度 的 信息 , 但 却 相 互 映射 影响 当前 的 行为 ， 
这 种 现象 被 称 为 视听 路 通道 对 应 (audiovisual cross- 
modal correspondence) (Spence, 2011, 2019)。 一 种 常 
见 的 视听 路 通道 对 应 是 听觉 的 音调 与 视觉 的 空间 
位 置 之 间 的 对 应 , 个 体 倾向 于 将 音调 较 高 的 声音 与 
高 空间 位 置 相 映射 ， 而 将 音调 较 低 的 声音 与 低空 间 
位 置 相映 射 。 当 高 音 伴 随 或 者 先 于 视觉 刺激 呈现 时 ， 
被 试 对 于 高 空间 位 置 呈现 的 视觉 刺激 的 反应 快 于 
低空 间 位 置 呈现 的 视觉 刺激 , 反之 亦 然 (Chiou & 
Rich, 2012; Evans & Treisman, 2010; McCormick et 
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al., 2018; Spence, 2019; Zeljko et al., 2019)。 除 此 之 
外 ,音调 与 刺激 大 小 (Brunetti et al., 2018; Parise & 
Spence，2008)、 音 调 与 亮度 (Maimon et al., 2020; 
Marks et al.，2003) 以 及 音调 与 空间 频率 (Evans & 
Treisman, 2010) 都 存在 视听 跨 通 道 对 应 。 不 同 于 视 
听觉 整合 所 需要 的 视觉 和 听觉 刺激 在 时 间 和 空间 
上 相 邻 呈现 (Spence，2013)， 视 听 跨 通道 对 应 发 生 
时 ,视觉 刺激 和 听觉 刺激 的 呈现 位 置 可 以 不 同 , 呈 
现 的 时 间 间 隔 也 可 以 相对 更 长 (Chiou & Rich, 
2012)。 视听 跨 通 道 对 应 是 一 种 相对 的 映射 (Chiou & 
Rich, 2012)， 如 在 音调 与 空间 位 置 的 跨 通道 对 应 中 ， 
不 存在 某 个 频率 的 音调 与 某 个 高 度 的 空间 位 置 之 
间 的 绝对 的 映射 , 而 是 存在 两 个 音调 中 相对 较 高 或 
较 低 的 音调 与 两 个 位 置 中 相对 较 高 或 较 低 的 位 置 
之 间 的 映射 。 

现 有 研究 针对 视听 跨 通 道 对 应 的 发 生 阶段 存 
在 不 同 观 点 。 第 一 种 观点 认为 ， 视 听 跨 通道 对 应 发 
生 在 知觉 水 平 ， 即 视听 器 通道 对 应 增加 了 刺激 的 感 


被 试 反 应 能 力 的 增强 不 会 伴随 虚报 率 的 上 升 ,因而 
视听 跨 通 道 对 应 发 生 在 决策 而 非 知 觉 水 平 (Marks 
et al., 2003)。 总 之 ,， 由 于 所 选用 的 刺激 材料 和 测量 
指标 不 同 ， 视 听 路 通道 对 应 的 发 生 阶 段 尚 无 定论 
(Spence, 2011)。 

视 、 听 刺激 的 整合 或 对 应 可 以 提高 目标 的 知觉 
显著 性 (Evans & Treisman, 2010; Ković et al., 2010; 
Tang et al., 2019), 促进 个 体 的 行为 反应 ， 而 注意 系 
统 中 的 返回 抑制 inhibition of return, IOR) 也 会 影响 
人 类 对 于 目标 的 知觉 ( 唐 晓 雨 等 , 2020; Tang et al., 
2019) IOR 是 指 在 线索 -靶子 范式 (cue-target paradigm) 
中 ， 当 线索 和 目标 之 间 的 SOA 大 于 约 300 ms 时 ， 
被 试 对 于 线索 化 位 置 出 现 的 刺激 的 反应 时 慢 于 非 
线索 位 置 出 现 的 刺激 的 现象 (Posner & Cohen, 
1984)。IOR 避免 了 相同 位 置 被 重复 搜索 ,提高 了 视 
觉 搜索 效率 (Redden et al., 2021)。 尽 管 对 于 IOR 的 
发 生机 制 存 有 不 同 的 理论 解释 , 但 人 们 普遍 认为 
TOR 反映 了 一 种 知觉 抑制 , 即 注 意 从 线索 化 位 置 脱 


知觉 显著 性 (Evans & Treisman, 2010)。 已 有 研究 发 
现 当 被 试 观看 模糊 移动 的 光栅 时 ， 如 果 伴 随 着 音调 
的 上 升 ， 被 试 更 倾向 于 知觉 到 光栅 在 同上 运 劲 ， 如 
果 伴 随 着 音调 的 下 降 ， 被 试 更 倾向 于 知觉 到 光栅 在 
向 下 运动 (Maeda et al., 2004)。ERP (event-related 
potential) 研 究 发 现 当先 前 呈现 的 声音 与 当前 视觉 
符号 存在 对 应 一 致 时 ,视觉 诱发 的 早期 知觉 成 分 
N1 的 波幅 相 比 于 对 应 不 一 致 时 更 大 , 文 持 了 视听 
跨 通 道 对 应 是 知觉 上 的 增强 (Kovié et al., 2010)。 第 
二 种 观点 认为 ， 视 听 路 通道 对 应 发 生 在 语义 层面 
(Spence, 2011)。 研 究 者 发 现在 几乎 所 有 的 语言 环境 
中 ， 人 们 都 用 “高 ”“ 低 ?来 描述 不 同 频率 的 音调 ， 而 
同样 的 词语 又 对 应 空间 位 置 的 高 和 低 ， 以 及 空间 频 
率 的 高 和 低 ， 因 此 研究 者 认为 视 、 听 不 同 维度 刺激 
相同 的 语义 编码 导致 了 视听 跨 通 道 对 应 的 出 现 
(Walker, 2012)。 人 研究 者 用 “高 ”"“ 低 ”两 个 词 的 语音 代 
BE, 、 低 频率 的 音调 ， 发 现 了 语音 与 空间 位 置 也 出 
现 了 路 通道 对 应 ， 支 持 了 视听 跨 通 道 对 应 发 生 在 语 
义 层 面 的 观点 (Gallace & Spence, 2006)。 第 三 种 观 
点 认为 ， 视 听 跨 通道 对 应 发 生 在 晚期 决策 水 平 ， 即 
一 个 通道 与 男 一 个 通道 的 对 应 降低 了 对 于 所 呈现 
目标 刺激 的 反应 标准 (Spence, 2011)。 人 研究 者 使 用 信 
号 检测 论 的 方法 对 于 视听 路 通道 对 应 进行 研究 ， 结 
果 显 示 当 视听 跨 通道 对 应 发 生 时 ,被 试 的 知觉 敏感 
性 a? 没有 发 生变 化 ， 而 对 于 目标 的 虚报 率 则 上 升 。 
研究 者 认为 如 果 视 听 蜂 通道 对 应 发 生 在 知觉 层面 ， 


离 ， 导致 线索 化 位 置 上 目标 的 感知 觉 显 著 性 降低 ， 
使 得 反应 受到 损害 (Klein, 2000; Satel et al., 2013)。 
ERP 研究 发 现 IOR 发 生 时 线索 化 位 置 刺激 诱发 的 
早期 Pl1 和 NI 成 分 波幅 低 于 非 线索 化 位 置 (Hopfinger 
& Mangun, 2001; Prime & Jolicoeur, 2009)， 支 持 了 
TOR 效应 发 生 在 早期 的 感知 觉 阶段 。 以 往 研 究 关注 
TOR 效应 和 多 感觉 刺激 间 的 相互 作用 , 这样 的 研究 
集中 于 视听 党 整合 ( 彭 姓 等 , 2019; Tang et al., 2019; 
van der Stoep, van der Stigchel, et al., 2015)。 人 研究 者 
在 线索 -靶子 范式 中 设置 视听 觉 目标 ,结果 发 现 
IOR 效应 对 于 视听 觉 整合 产生 了 调节 作用 。 一 部 分 
WE AE Fe Ae EB BR CN EY) A i BE IN BE 
姓 等 , 2019; Tang et al., 2019; van der Stoep et al., 
2016)， 另 一 部 分 研究 者 发 现 了 相反 的 结果 ， 即 线 
索 化 位 置 的 视听 觉 整合 效应 更 大 ( 唐 晓 雨 等 ， 
2020)。 不 同 的 研究 结果 可 能 与 不 同 实验 的 SOA 设 
置 有 关 ( 唐 晓 雨 等 , 2020), 但 已 有 研究 都 表明 , 视 
听觉 整合 发 生 在 知觉 阶段 (Tang et al., 2019), 因此 
会 受到 同样 发 生 在 知觉 加 工 阶段 的 IOR 效应 的 调 
PE 等 , 2019; 唐 晓 雨 等 , 2020)。 

尽管 视听 觉 整合 和 视听 器 通道 对 应 以 不 同 的 
方式 导致 多 感觉 反应 增强 ,前 者 通过 时 间 和 空间 上 
的 临近 提供 宛 余 的 信息 (Noesselt et al., 2007; 
Santangelo et al., 2008), 后 者 通过 不 同 维度 信息 间 
的 相互 映射 促进 当前 的 行为 (Chiou & Rich, 2012; 
McCormick et al., 2018)。 但 如 果 视 听 跨 通道 对 应 发 
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生 在 知觉 阶段 ,， 结合 以 往 研究 发 现 的 多 感觉 刺激 与 
包括 IOR 在 内 的 注意 线索 效应 之 间 的 相互 作用 ( 唐 
晓 雨 等 , 2020; Botta et al., 2017; Chica et al., 2011; 
Tang et al., 2019), 以 及 加 因素 法 反应 时 的 实验 逻 
辑 (Sternberg, 1969)， 则 IOR 效应 发 生 时 ,线索 化 位 
置 目 标的 感知 觉 显著 性 降低 会 对 于 视听 跨 通 道 对 
应 产生 影响 ; 而 如 果 视 听 路 通道 对 应 发 生 在 语义 或 
者 决策 水 平 , 则 LOR 效应 不 会 对 于 视听 监 通 道 对 应 
产生 影响 。 因 此， 本 研究 将 空间 线索 范式 与 视听 跨 
通道 对 应 的 研究 范式 相 结合 ， 对 于 IOR 效应 和 视听 
跨 通 道 对 应 之 间 的 关系 进行 了 探究 。 以 往 视听 路 通 
道 对 应 的 研究 中 , 视 、 听 刺激 同步 呈现 (Brunel et al., 
2015; Gallace & Spence, 2006; Getz & Kubovy, 
2018)， 导 致 所 测量 到 的 结果 可 能 同时 包含 了 视听 
党 整合 和 视听 器 通道 对 应 。 考 虑 到 视 、 听 刺激 呈现 
的 时 空 邻近 性 是 视听 觉 整 合 发 生 的 必要 条 件 
(Spence, 2011), 已 有 研究 表明 当 视 、 听 刺激 呈现 间 
隔 时 间 超 过 100 ms 时 视听 觉 整 合 效 应 消失 (van der 
Stoep, Spence, et al., 2015)， 因 此 本 研究 在 听觉 刺激 
消失 后 200 ms 呈现 视觉 目标 ， 且 听觉 刺激 以 双 声 
道 形式 旦 现 ， 以 最 小 化 视听 觉 整合 的 影响 。 

另外 ， 先 于 视觉 目标 呈现 的 听觉 刺激 会 对 于 目 
标 产 生 警 觉 效 应 (Wiegand & Sander, 2019)， 这 种 车 
觉 效应 会 提高 被 试 对 于 视觉 刺激 的 知觉 能 力 (Kusnir 
et al., 2011)， 并 与 目标 的 感知 觉 显著 性 产生 交互 作 
用 (Botta et al., 2017)， 因 此 目前 研究 中 警觉 效应 可 
能 与 外 源 性 线索 引发 的 IOR 效应 相互 作用 , 造成 不 
同 条 件 下 的 警觉 效应 不 同 。 考虑 到 目前 研究 是 第 一 
个 探究 TOR 效应 与 视听 路 通道 对 应 之 间 关 系 的 研 
究 , 在 实验 中 排除 可 能 存在 的 混淆 因素 是 必要 的 ， 
因此 本 研究 设计 了 控制 实验 ， 排除 目前 范式 中 警觉 
效应 与 IOR 效应 产生 交互 进而 混 消 实验 结果 的 可 
能 。 最 后 ， 为 了 进一步 探究 IOR 效应 和 视听 路 通道 
对 应 之 间 交 互 作 用 的 机 制 ， 本 研究 通过 操纵 线索 和 
目标 之 间 的 SOA 来 操纵 IOR 效应 的 大 小 (Lupiiaez 
et al., 1997)， 进 而 探究 IOR 效应 对 于 视听 路 通道 对 
应 的 调节 机 制 。 

SpE, 本 研究 采用 线索 -靶子 范式 ， 在 视觉 
标 之 前 呈现 听觉 刺激 ,考察 IOR 对 于 视听 路 通道 对 
应 的 有 影响。 研究 分 为 3 个 实验 , 实验 1 操纵 线索 和 


会 受到 发 生 在 相同 加 工 阶段 的 IOR 效 应 的 影响 ， 出 
现 视 听 跨 通道 对 应 与 TOR 效应 之 间 的 交互 作用 。 实 
验 2 通过 操纵 听觉 刺激 是 否 出 现 ,探究 IOR 效应 与 
单独 的 声音 出 现 与 否 之 间 的 关系 。 实验 2 中 听觉 刺 
激 只 存在 一 种 音调 ,而 音调 与 空间 位 置 之 间 的 跨 通 
道 对 应 需要 呈现 两 个 具有 高 低 关系 的 音调 才能 六 
Æ (Chiou & Rich, 2012)， 因 此 只 呈现 一 种 音调 不 会 
与 视觉 目标 的 空间 位 置 产生 跨 通 道 对 应 。 实 验 2 的 
目的 一 方面 是 验证 在 目前 的 研究 中 ,在 视觉 刺激 前 
单纯 呈现 听觉 刺激 不 会 与 1OR 效应 产生 交互 , 而 只 
有 听觉 刺激 与 视觉 目标 发 生 跨 通道 对 应 才 会 与 
TOR 效应 产生 交互 ; 另 一 方面 是 排除 可 能 存在 的 警 
觉 效 应 对 于 结果 的 混淆 。 基 于 以 往 人 研究 表明 ,警觉 
效应 是 以 一 种 自 上 而 下 的 方式 增强 对 于 刺激 的 感 
知 (Kusnir et al., 2011), 而 IOR 以 自 下 而 上 的 方式 
影响 被 试 的 知觉 (Berdica et al., 2017; Jia et al., 
2019), 实验 2 假设 IOR 效应 不 会 与 听觉 刺激 的 出 
现 与 否 产生 交互 ,进一步 支持 实验 1 的 结果 是 由 
TOR 效应 对 视听 器 通道 对 应 的 影响 所 导致 的 。 实 验 
3 通过 操纵 线索 和 目标 之 间 的 SOA 来 操纵 IOR 效 
应 的 大 小 , 探究 IOR 效 应 对 于 视听 器 通道 对 应 的 调 
节 机 制 。 根 据 多 感觉 反应 增强 中 的 反比 效应 原则 
(principle of inverse effectiveness) (Meredith & Stein, 
1983; van der Stoep et al., 2016)， 研 究 预 期 随 着 线 
索 和 目标 之 间 的 SOA 增加 , LOR 效应 变 小 (Lupi 希 ez 
et al., 1997)， 进 而 使 得 线索 化 位 置 的 视听 跨 通 道 对 
应 效应 变 小 , 且 IOR 效 应 对 于 视听 路 通道 对 应 的 调 
节 作 用 减弱 。 


2 实验 1:IOR 效应 对 视听 路 通道 对 
应 的 影响 


2.1 方法 
2.1.1 ”被 试 


采用 G*Power 3.1 软件 对 样本 量 进行 计算 
(Erdfelder et al., 2009; Faul et al., 2007)。 设 置 I 类 
错误 的 概率 a error prob 为 0.05, 检验 效能 Power (1 一 
B err prob) 0.8, 效应 量 为 中 等 水 平 (f = 0.25) 
(Cohen, 1992), 计算 被 试 样本 量 为 24。 招 募 江 苏 省 
高 校 在 校 学 生 31 名 , 其 中 男生 14 名 , 女生 17 名 ， 
年 龄 18~24 岁 。 所 有 被 试 均 为 右 利 手 ， 听力、 视力 


目标 之 间 的 空间 线索 有 效 性 和 听觉 刺激 与 视觉 目 
标 之 间 的 跨 通道 对 应 一 致 性 , RA IOR 效应 与 视听 
跨 通道 对 应 之 间 的 关系 。 实 验 1 假设 ,音调 与 空间 
位 置 之 间 的 视听 路 通道 对 应 发 生 在 知觉 水 平 ， 因 此 


或 矫正 视力 正常 , 无 神经 或 精神 疾病 史 , 无 脑 部 损 
伤 史 。 被 试 在 实验 完成 后 会 获得 相应 的 报酬 。 
2.1.2 ”实验 仪器 与 材料 

实验 程序 使 用 E-prime 2.0 编制 ,运行 于 Dell 
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3020 MT 主机 上 。 实 验 刺激 呈现 在 23 英寸 的 液晶 
显示 需 (Dell E2316Hf) 上 , 屏幕 的 分 辩 率 为 1024 x 
768, 刷新 率 为 60 Hz。 整 个 实验 中 被 试 头 部 通过 下 
巴 托 固定 ,距离 屏幕 60 cm。 实 验 在 隔音 的 暗 环 境 
下 进行 。 

所 有 的 视觉 刺激 材料 都 在 白色 的 背景 上 由 黑 
色 (RGB: 0, 0, 0) 线 条 绘制 。 在 每 个 试 次 中 , 3 个 正方 
形 方 框 (1.5°*x 1.5°) 竖 直 排列 在 屏幕 上 ,其 中 一 个 方 
框 位 于 屏幕 正中 ， 另 外 两 个 方 框 置 于 上 下 两 侧 ， 两 
个 相 邻 方 框 相距 视角 为 4.5°。 中 央 注 视点 (1° x 1°) 
呈现 在 中 央 方 框 内 ， 线 索 通过 对 于 注视 点 上 方 或 者 
下 方 的 矩形 边框 加 粗 0.5° 实 现 ， 中 央 线 索 通 过 中 央 
注视 点 变 大 为 1.5° x 1.5" 实 现 。 视 觉 目 标 为 一 个 圆 
盘 (1° x 1)， 上 听觉 刺激 为 250 Hz 或 2500 Hz 的 正弦 
音 (50 ms)。 声 音 刺激 通 过 头 戴 式 铁 三 角 耳 麦 (ATH- 
WS899) 从 左右 耳 双 声 道 呈现 ， 音 量 控制 在 65 dB. 
2.1.3 ”实验 设计 与 流程 

实验 1 采用 2 (空间 线索 有 效 性 : 线索 有 效 vs. 
线索 无 效 ) x 2 ( 跨 通 道 对 应 一 致 性 : 对 应 一 致 vs. 对 
应 不 一 致 ) 的 被 试 内 设计 , 因 变 量 为 反应 时 和 正确 
率 。 其 中 ， 路 通道 对 应 一 致 条 件 是 指 在 高 音 后 呈现 
高 位 置 的 视觉 目标 ,在 低音 后 呈现 低位 置 的 视觉 目 
标 ; 路 通道 对 应 不 一 致 条 件 则 与 之 相反 。 正 式 实验 
一 共 $ 组 ,每 组 $3 个 试 次 ， 其 中 包含 5 个 捕获 试 次 ， 

FE 265 个 试 次 。 被 试 在 进行 正式 实验 前 完成 53 个 
rere 整个 实验 大 约 进行 35 分 钟 。 

实验 1 中 每 个 试 次 的 流程 如 图 1 所 示 。 首 先 ， 屏 


幕 中 间 会 呈现 注视 点 +” 呈现 时 间 为 750 ms。 随 
后 注视 点 上 方 或 者 下 方 的 方 边框 会 加 粗 ， 作 为 线 
Ze, 呈现 时 间 为 50 ms， 线 索 对 于 目标 的 空间 位 置 
没有 预测 性 。 在 250 ms 的 时 间 间 隔 后 ,注视 点 加 粗 


对 应 一 臻 对 应 不 一 臻 
@ 2500 Hz @ 250 Hz 四 
@250Hz | 3 © 2500 Hz 


反应 


图 1 


作为 中 央 线 索 呈 现 。 中 央 线 索 是 空间 IOR 研究 中 常 
用 的 设置 ， 有 助 于 IOR 效应 更 稳定 的 出 现 (Prime et 
al.，2006)。 中 央 线 索 呈 现 50 ms, 之 后 随机 呈现 不 
音调 的 听 沉 觉 刺激 。 听 觉 刺 激 呈 现时 间 为 50 ms, 
200 ms 的 时 间 间 隔 后 ,视觉 目标 在 注视 点 上 方 
或 者 下 方 的 方 框 内 呈现 100 mso 被 试 需要 在 探测 到 
视觉 目标 时 进行 既 快 又 准 的 按键 反应 ， 捕 获 试 次 不 
需要 按键 。 如 果 1000 ms 内 被 试 没有 按键 , 则 自动 
进入 下 一 个 试 次 。 除 了 练习 实验 , 实验 中 没有 给 予 
被 试 按键 正确 或 错误 的 反馈 。 
2.2 ”结果 与 分 析 

错误 反应 、 没 有 反应 和 反应 时 异常 (100 ms 以 
内 或 超出 平均 反应 时 正 负 3 个 标准 差 ) 的 数据 不 计 
入 反应 时 分 析 , 剔除 的 数据 量 占 总 数据 量 的 
1.09%。 实 验 1 为 简单 的 探测 反应 任务 , 被 试 的 平 
均 正确 率 达 到 98% 以 上 ,因此 不 针对 正确 率 进行 进 
一 步 的 统计 分 析 。 

对 反应 时 进行 2 (线索 有 效 性 : 线索 有 效 vs. 
线索 无 效 ) x 2 (路 通道 对 应 一 致 性 : 对 应 一 致 vs. 
对 应 不 一 致 ) 的 重复 测量 方差 分 析 。 结 果 如 图 2 所 
示 , 线索 有 效 性 主 效应 显著 , F(1, 30) = 122.26, p < 
0.001, n; = 0.80, 线索 有 效 条 件 下 的 反应 时 (325 ms) 
显著 慢 于 线索 无 效 条 件 (288 ms), IOR 效应 出 现 。 跨 
道 对 应 一 致 性 主 效应 显著 , F, 30) = 4.95, p = 
0.034, np = 0.14， 对 应 一 致 条 件 下 的 反应 时 (305 ms) 
显著 快 于 对 应 不 一 致 条 件 (308 ms), 视听 跨 通 道 对 

应 效应 出 现 。 重 要 的 是 , 线索 有 效 性 和 跨 通 道 对 应 
一 致 性 的 交互 作用 显著 , F, 30) = 6.69, p = 0.015, 
Np = 0.18, IOR 效应 对 于 视听 跨 通道 对 应 产生 了 调 
节 人 作用。 简单 效应 分 析 表 明 ， 当 线索 有 效 时 ， 跨 通 
道 对 应 一 致 条 件 下 的 反应 时 (322 ms) 显 著 快 于 对 应 
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不 一 致 条 件 (327 ms), (30) = 3.26, p = 0.003, 
Cohen’s d = 0.59, 95% CI = [-9.29, -2.13]， 出 现 了 
视听 路 通道 对 应 效应 ; 当 线 索 无 效 时 ,路 通道 对 应 
一 致 条 件 下 的 反应 时 (289 ms) 和 对 应 不 一 致 条 件 下 
的 反应 时 (288 ms) 没 有 显著 差异 , 130) < 1, 没有 出 
现 视听 跨 通道 对 应 效应 。 男 一 个 维度 的 简单 效应 分 
析 表 明 ， 当 跨 通 道 对 应 一 致 时 , 线索 有 效 条 件 下 的 
反应 时 (322 ms) 显 著 慢 于 线索 无 效 条 件 (288 ms), 
(30) = 10.19, p < 0.001, Cohen’s d = 1.83, 95% CI = 
[26.76, 40.19], IOR 效应 出 现 ; 当 跨 通道 对 应 不 一 
致 时 , 线索 有 效 条 件 下 的 反应 时 (327 ms) 显 著 慢 于 
线索 无 效 条 件 (288 ms), (30) = 10.76, p < 0.001, 
Cohen’s d = 1.93, 95% CI = [31.79, 40.69], IOR 效应 
同样 出 现 。 对 于 IOR 效应 量 (线索 有 效 条 件 减 去 线 
索 无 效 条 件 的 平均 反应 时 ) 进 行 配对 样本 1 检验 , 结 
果 发 现 跨 通道 对 应 一 致 条 件 下 的 IOR 效 应 量 (33 ms) 
显著 小 于 不 一 致 条 件 (39 ms), 1(30) = 2.59, p = 0.015, 
Cohen’s d = 0.47, 95% CI = [-10.31, -1.21]， 视 听 跨 
通道 对 应 产生 的 促进 作用 抵消 了 部 分 IOR 效应 。 


对 应 不 一 致 


国 | 对 应 一 致 


有 效 线索 无 效 线索 

图 2 实验 1 各 个 条 件 下 的 箱 线 图 

注 : 线条 自 上 而 下 为 上 限 、 上 四 分 位 数 、 中 位 数 、 下 四 分 位 数 、 
下 限 。 散 点 为 个 体 平均 反应 时 。*p < 0.05, **p < 0.01, ***p < 
0.001, n.s. 代 表 无 显著 差异 


2.3 ”小结 

实验 1 的 结果 发 现 , 被 试 在 线索 有 效 条 件 下 的 
反应 时 慢 于 线索 无 效 条 件 ，IOR 效应 出 现 ， 表 明 实 
验 在 中 央 线 索 后 呈现 听觉 刺激 并 没有 影响 TOR 效 
应 的 产生 。 此 外 , 被 试 在 跨 通道 对 应 一 致 条 件 下 的 
反应 时 快 于 对 应 不 一 致 条 件 ， 听 觉 音 调 与 视觉 空间 
位 置 之 间 的 路 通道 对 应 出 现 。 重 要 的 是 ，IOR 效应 
与 视听 跨 通道 对 应 产生 了 交互 作用 ,线索 有 效 条 件 
下 出 现 了 视听 跨 通道 对 应 效应 ， 而 线索 无 效 条件 下 
没有 出 现 视 听 跨 通道 对 应 效应 ， 发 生 在 早期 知觉 阶 
段 的 IOR 效应 对 于 视听 跨 通道 对 应 产生 了 调节 作用 。 


以 往 视 听觉 整合 的 研究 中 ， 有 研究 者 发 现 IOR 
效应 发 生 时 , 线索 有 效 条 件 下 的 视听 觉 整 合 效 应 更 
大 ( 唐 晓 雨 等 , 2020)。 研 究 者 通过 反比 效应 原则 对 
此 加 以 解释 ， 即 更 弱 的 视 、 听 感觉 信号 输入 引发 了 
更 强 的 整合 (Meredith & Stein, 1983)。 目前 研究 中 
TOR 效应 发 生 时 线索 化 位 置 的 目标 感知 觉 显 车 性 
降低 ， 非 线索 化 位 置 的 目标 感知 显著 性 相对 提高 
(Satel et al., 2013), 可 能 导致 了 视觉 目标 与 听觉 刺 
激 之 间 的 跨 通道 对 应 仅 在 线索 化 位 置 出 现 。 这 意味 
着 反比 效应 原则 可 能 也 适用 于 视听 跨 通 道 对 应 ,， 具 
体 将 在 总 讨论 中 进一步 论述 。 实验 1 还 发 现 跨 通道 
对 应 一 致 条 件 下 的 IOR 效应 量 更 小 ,意味 着 视听 跨 
通道 对 应 部 分 抵消 了 IOR 效应 对 于 目标 在 早期 感 
知觉 上 的 抑制 ， 这 与 视听 觉 整合 研究 中 的 发 现 相 一 
致 (Tang et al., 2019)。 

实验 1 的 结果 支持 了 听觉 音调 与 视觉 空间 位 置 
之 间 的 跨 通 道 对 应 与 IOR 效应 均 发 生 在 早期 的 知 
觉 阶段 ， 因 而 两 者 之 间 会 产生 交互 。 但 在 目前 研究 
中 ， 先 于 视觉 目标 呈现 的 听觉 刺激 会 产生 警觉 效应 
(Wiegand & Sander, 2019)， 这 种 警觉 效应 可 能 在 线 
索 化 位 置 和 非 线 索 化 位 置 的 大 小 不 同 (Botta et al., 
2017), 进 而 对 于 实验 结果 产生 混淆 ,为 了 进一步 文 
持 实验 1 的 结果 是 由 IOR 效应 对 于 视听 路 通道 对 应 
进行 调节 所 导致 的 ,本 研究 设计 了 实验 2, 实验 2 
通过 操纵 听觉 刺激 是 否 出 现 , 探究 IOR 效 应 与 单独 
的 声音 出 现 与 否 之 间 的 关系 。 实 验 2 的 目的 一 方面 
是 验证 在 目前 的 研究 中 , 在 视觉 刺激 前 单纯 呈现 听 
觉 刺激 不 会 与 IJOR 效 应 产生 交互 ， 而 只 有 听觉 刺激 
与 视觉 目标 发 生 跨 通道 对 应 才 会 与 IOR 效应 产生 
交互 ; 另 一 方面 是 排除 可 能 存在 的 警觉 效应 对 于 结 
果 的 混 消 。 


3 实验 2:IOR 效应 与 声音 呈现 与 否 
的 关系 


ž 


3 


3.1 方法 
3.1.1 被 试 


采用 G*Power 3.1 软件 对 样本 量 进行 计算 。 设 
EI 类 错误 的 概率 a error prob 为 0.05, 检验 效能 
Power (1 一 B err prob) 为 0.8, 效应 量 为 中 等 水 平 (f= 
0.25) (Cohen, 1992), 计算 被 试 样本 量 为 24. 招募 江 
苏 省 高 校 在 校 学 生 34 名 ,其 中 男生 15 名 , 女生 19 
名 , 年龄 18~24 岁 。 所 有 被 试 均 为 右 利 手 ,听力 、 
视力 或 矫正 视力 正常 , 无 神经 或 精神 疾病 史 , 无 脑 
部 损伤 史 。 被 试 在 实验 完成 后 会 获得 相应 的 报酬 。 
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3.1.2 ”实验 仪器 与 材料 

实验 2 中 的 听觉 刺激 为 1600 Hz 的 正弦 音 ， 其 
余 的 实验 仪器 与 实验 材料 与 实验 1 相同 。 
3.1.3 ”实验 设计 和 实验 流程 

实验 2 采用 2 (空间 线索 有 效 性 : 线索 有 效 vs. 
线索 无 效 ) x 2 (声音 呈现 :有 声音 vs. 无 声音 ) 的 被 试 
内 设计 ， 因 变量 为 反应 时 和 正确 率 。 实 验 2 与 实验 
1 的 不 同 之 处 是 听觉 刺激 为 1600 Hz 的 纯音 , 可 能 
出 现在 视觉 刺激 之 前 ， 也 可 能 不 出 现 。 其 余 实 验 流 
程 和 试 次 设置 均 与 实验 1 保持 一 致 。 
3.2 ”结果 与 分 析 

错误 反应 、 没 有 反应 和 反应 时 异常 (100 ms 以 
内 或 超出 平均 反应 时 正 负 3 个 标准 差 ) 的 数据 不 计 
A JQ EY OY AT, D DR EY BC ee BCH ot 
1.88%。 在 实验 2 中 , 被 试 的 平均 正确 率 达到 98% 
以 上 ,因此 不 针对 正确 率 进行 进一步 的 统计 分 析 。 


m Ay O 无 声音 
n.s 
[ | 
500 eK eK 
400 。 ele , 
a 4 ee A 
oe 
ia 900 + REJ 
1 eee ele 
hd .| 


100 


有 效 线索 无 效 线索 
图 3 实验 2 各 个 条 件 下 的 箱 线 图 
注 : 线条 自 上 而 下 为 上 限 、 上 四 分 位 数 、 中 位 数 、 下 四 分 位 数 、 
下 限 。 散 点 为 个 体 平均 反应 时 。*p < 0.05, **p < 0.01, ***p < 
0.001, n.s. 代 表 无 显著 差异 


对 反应 时 进行 2 (线索 有 效 性 : 线索 有 效 vs. 
线索 无 效 ) x 2 (声音 呈现 : 有 声音 vs. 无 声音 ) 的 重 
复 测量 方差 分 析 。 结 果 如 图 3 所 示 , 线索 有 效 性 主 
效应 显著 , F(1, 33) = 237.78, p < 0.001, nt = 0.88, 
线索 有 效 条 件 下 的 反应 时 (313 ms) 显 著 慢 于 线索 无 
效 条 件 (294 ms), IOR 效应 出 现 。 声音 呈现 主 效应 显 
著 , F(1, 33) = 82.34, p < 0.001, n$ = 0.71， 有 声音 条 
件 下 的 反应 时 (283 ms) 显 著 快 于 无 声音 条 件 
(305 ms)， 上 听觉 刺激 促进 被 试 对 于 视觉 目标 的 反 
应 ,线索 有 效 性 和 声音 呈现 的 交互 作用 不 显著 , FA, 
33) <1, 没有 证 据 表 明 IOR 效应 对 于 听觉 刺激 所 产 
生 的 促进 效应 产生 影响 。 

3.3 小结 
实验 2 的 结果 显示 , 被 试 在 线索 有 效 条 件 下 的 


反应 时 慢 于 线索 无 效 条 件 ，IOR 效应 出 现 。 声 音 呈 
现 主 效应 显著 ,提前 视觉 刺激 200 ms 呈现 的 听觉 
刺激 促进 了 被 试 对 于 视觉 目标 的 反应 。 但 线索 有 效 
性 和 声音 呈现 之 间 的 交互 作用 不 显著 。 实验 2 的 结 
果 表 明 , 单纯 的 声音 呈现 不 会 与 OR 效应 产生 交互 ， 
只 有 听觉 刺激 与 视觉 目标 发 生 跨 通道 对 应 才 会 与 
TOR 效应 产生 交互 。 实验 2 中 听觉 刺激 对 于 视觉 
标的 反应 促进 主要 反映 了 警觉 效应 ， 而 警觉 效应 没 
有 和 TOR 效应 产生 交互 。 结 合 以 往 研究 ,警觉 效应 
是 以 一 种 自 上 而 下 的 方式 增强 对 于 刺激 的 感知 
(Kusnir et al., 2011), 而 IOR 以 自 下 而 上 的 方式 影 
响 被 试 的 知觉 (Berdica et al., 2017; Jia et al., 2019), 
由 于 两 种 效应 作用 的 通路 不 同 ， 因 此 不 会 产生 交互 
作用 ,实验 2 支持 了 实验 1 中 的 结果 的 确 是 IOR 效 
应 对 视听 跨 通 道 对 应 的 影响 所 导致 的 。 

为 了 进一步 探究 IOR 效应 对 于 视听 跨 通 道 对 
应 的 调节 机 制 , 本 研究 设计 了 实验 3, 实验 3 通过 
操纵 线索 和 目标 间 的 SOA 来 操纵 IOR 效应 的 大 小 ， 
探究 LOR 效应 的 大 小 对 视听 跨 通 道 对 应 的 影响 。 如 
果 反 比 效应 原则 成 立 ， 则 SOA 增加 所 导致 的 IOR 
效应 变 小 , 会 使 得 线索 化 位 置 的 视听 跨 通 道 对 应 效 
应 减弱 ， 且 IOR 效应 对 于 视听 跨 通 道 对 应 的 调节 作 
用 减弱 。 


4 实验 3: 不 同 SOA 下 IOR 效应 对 
视听 路 通道 对 应 的 影响 


4.1 方法 
4.1.1 it 


采用 G* Power 3.1 软件 对 样本 量 进行 计算 。 设 
置 工 类 错误 的 概率 a error prob 为 0.05, 检验 效能 
Power (1 一 B err prob) 为 0.8, 效应 量 为 中 等 水 平 (f= 
0.25) (Cohen, 1992), 计算 被 试 样本 量 为 16。 招募 江 
苏 省 高 校 在 校 学 生 37 名 ,其 中 男生 9 名 , 女生 28 
Zo MR RIX 3 名 ,剩余 有 效 被 试 34 名 , 其 中 男 
生 9 名 , 女生 25 名 , 年 龄 19~26 岁 。 所 有 被 试 均 为 
右 利 手 ， 听力 、 视 力 或 矫正 视力 正常 , 无 神经 或 精 
神 疾 病史 , 无 脑 部 损伤 史 。 被 试 在 实验 完成 后 会 获 
得 相应 的 报酬 。 
4.1.2 ”实验 仪器 与 材料 

实验 3 在 实验 1 的 基础 上 , 将 线索 与 目标 之 间 
的 SOA 设置 为 600 ms 和 1300 ms 两 种 水 平 .600 ms 
为 实验 1 中 的 线索 和 目标 间 的 SOA, 1300 ms 是 通 
过 延长 外 源 性 线索 与 中 央 线 索 之 间 的 间隔 时 间 实 
现 的 。 其 余 的 实验 仪器 与 实验 材料 与 实验 1 相同 。 
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4.1.3 ”实验 设计 和 实验 流程 

实验 3 采用 2 (空间 线索 有 效 性 : 线索 有 效 vs. 
线索 无 效 ) x 2 ( 蜂 通 道 对 应 一 致 性 : 对 应 一 致 vs. 
对 应 不 一 致 ) x 2 (SOA: 600 ms vs. 1300 ms) 的 被 试 
内 设计 ， 因 变量 为 反应 时 和 正确 率 。 正 式 实验 一 共 
6 组 ,每 组 69 个 试 次 , 其 中 包含 5 个 捕获 试 次 ， 共 
414 个 试 次 ,被 试 在 进行 正式 实验 前 完成 35 个 试 次 
的 练习 实验 ， 整个 实验 大 约 进行 50 分 钟 。 其 余 实验 
流程 均 与 实验 1 保持 一 致 。 
4.2 ”结果 与 分 析 

错误 反应 、 没 有 反应 和 反应 时 异常 (100 ms 以 
内 或 超出 平均 反应 时 正 负 3 个 标准 差 ) 的 数据 不 计 
和 人 反应 时 分 析 ， 剔除 的 数据 量 占 总 数据 量 的 
1.22%。 实 验 3 为 简单 的 探测 反应 任务 , 被 试 的 平 
均 正确 率 达 到 99% 以 上 ,因此 不 针对 正确 率 进行 进 
一 步 的 统计 分 析 。 
4.2.1 反应 时 

对 反应 时 ( 见 表 TD) 进行 2 (线索 有 效 性 : 线索 有 
效 vs. 线索 无 效 ) x 2 (路 通道 对 应 一 致 性 : 对 应 一 
致 vs. 对 应 不 一 致 ) x 2 (SOA: 600 ms vs. 1300 ms) 
的 重复 测量 方差 分 析 。 结 果 显 示 , 线索 有 效 性 主 效 
应 显著 , FC, 33) = 89.44, p < 0.001, ns = 0.73， 线 索 
有 效 条 件 下 的 反应 时 (355 ms) 显 著 慢 于 线索 无 效 条 
件 (336 ms), IOR 效应 出 现 。 路 通道 对 应 一 致 性 主 效 
应 显著 , F(1, 33) = 9.57, p = 0.004, n = 0.23， 对 应 
一 致 条 件 下 的 反应 时 (343 ms) 显 著 快 于 对 应 不 一 致 
条 件 (348 ms), 视听 跨 通 道 对 应 效应 出 现 。SOA 主 
效应 不 显著 , FA, 33) < 1。SOA 和 线索 有 效 性 的 交 
互 作用 显著 , FU, 33) = 6.89, p = 0.013, ma = 0.17, 
SOA 对 于 IOR 效应 产生 了 调节 作用 。 简 单 效 应 分 
析 表 明 ， 当 SOA 为 600 ms 时 , 线索 有 效 条 件 下 的 
反应 时 (356 ms) 显 著 慢 于 线索 无 效 条 件 (334 ms), 
t(33) = 8.34, p < 0.001, Cohen’s d = 1.43, 95% CI = 
[16.33, 26.86], IOR 效应 出 现 ; 当 SOA 为 1300 ms 
时 ， 线 索 有 效 条 件 下 的 反应 时 (354 ms) 显 著 慢 于 线 
索 无 效 条 件 (339 ms), 33) = 8.52, p < 0.001, 
Cohen’s d = 1.46, 95% CI = [12.13, 19.74], IOR 效应 
同样 出 现 。SOA 对 于 IOR 效应 的 调节 体现 在 SOA 


表 1 实验 3 中 不 同 条 件 下 的 平均 反应 时 (M + SD) 


eu 线索 有 效 条 件 线索 无 效 条 件 
对 应 一 臻 ”对 应 不 一 致 ”对 应 一 致 对 应 不 一 致 


600 ms 350 + 52 361+51 334 4 55 335 4 53 
1300 ms 352 £53 357 + 56 336 + 57 341 + 57 


为 600 ms 时 IOR 效应 量 (22 ms) AF 1300 ms 
时 (16 ms), 1(33) = 2.63, p = 0.013, Cohen’s d = 0.45, 
95% CI = [1.27, 10.05], ba SOA 的 延长 , IOR 效 应 
变 小 。 

重要 的 是 , 线索 有 效 性 、 视 听 跨 通道 对 应 一 致 
性 和 SOA 三 因素 交互 作用 显著 , FC, 33) = 6.40, p = 
0.016, np = 0.16. 当 SOA 为 600 ms Hf, 线索 有 效 性 
和 器 通道 对 应 一 致 性 的 交互 作用 显著 ，F(1，33) = 
19.45, p < 0.001, nj = 0.37, IOR 效应 对 于 视听 跨 通 
道 对 应 产生 了 调节 。 简 单 效 应 分 析 表 明 ， 当 线索 有 
效 时 ， 跨 通道 对 应 一 致 条 件 下 的 反应 时 (350 ms) 显 
著 快 于 对 应 不 一 致 条 件 (361 ms), (33) = 4.97, p < 
0.001, Cohen’s d = 0.85, 95% CI = [-15.36, —6.43], 
出 现 了 视听 跨 通道 对 应 效应 ; 当 线索 无 效 时 ， 跨 通 
道 对 应 一 致 条 件 下 的 反应 时 (334 ms) 和 对 应 不 一 致 
条 件 (335 ms) 没 有 显著 差异 , (33) < 1, 没有 出 现 视 
听 跨 通道 对 应 效应 。 当 SOA 为 1300 ms 时 ， 路 通道 
对 应 一 致 性 主 效应 显著 , F(1, 33) = 5.41, p = 0.026, 
Np = 0.14， 对 应 一 致 条 件 下 的 反应 时 (344 ms) 显 著 
快 于 对 应 不 一 致 条 件 (349 ms)， 视 听 跨 通道 对 应 效 
应 出 现 。 线索 有 效 性 和 跨 通 道 对 应 一 致 性 的 交互 作 
用 不 显著 , F < 1, 无 论 是 线索 化 位 置 还 是 非 线 索 化 
位 置 都 出 现 了 视听 跨 通 道 对 应 效应 , 但 值得 注意 的 
是 ， 此 时 线索 化 位 置 的 跨 通道 对 应 效应 在 统计 上 显 
著 (1(33) = 2.11, p = 0.042, Cohen’s d = 0.36, 95% 
CI= [-9.73，-0.19]))， 而 非 线索 化 位 置 的 跨 通道 对 
应 效应 达到 边缘 显著 (1(33) = 1.78, p = 0.084, Cohen’s 
d = 0.31, 95% CI = [-9.44, 0.63]), 这 意味 着 在 长 
SOA F, 线索 化 位 置 的 视听 跨 通 道 对 应 效应 更 加 
4.2.2 ”视听 跨 通道 对 应 效应 

首先 计算 出 不 同 SOA 条 件 下 不 同 线索 有 效 性 
的 视听 跨 通 道 对 应 效应 量 (对 应 不 一 致 减 去 对 应 
致 的 平均 反应 时 )， 再 对 其 进行 2 (SOA: 600 ms vs. 
1300 ms) x 2 (线索 有 效 性 : 线索 有 效 vs. 线索 无 效 ) 
的 重复 测量 方差 分 析 。 

结果 如 图 4 所 示 。 线 索 有 效 性 主 效应 显著 , FC, 
33) = 10.45, p = 0.003, np = 0.24， 线 索 有 效 条 件 下 
的 跨 通 道 对 应 效应 量 (8 ms) 显 著 大 于 线索 无 效 条 件 
(3 ms). SOA 主 效应 不 显著 , F(1, 33) < 1。 线 索 有 效 
性 与 SOA 的 交互 作用 显著 , F(1, 33) = 6.40, p = 
0.016, np = 0.16。 简 单 效应 分 析 表 明 ,， 在 线索 有 效 条 
件 下 , SOA 为 600 ms 时 的 跨 通 道 对 应 效应 量 (11 ms) 
显著 大 于 SOA X 1300 ms 时 (5 ms), £33) = 2.20, p = 
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0.035, Cohen’s d = 0.38, 95% CI = [0.44, 11.44]; 而 
在 线索 无 效 条 件 下 , SOA 为 600 ms 时 的 跨 通 道 对 应 
效应 量 (1 ms) 与 1300 ms 时 (4 ms) 没 有 显著 差异 ， 
(33) = 1.45, p = 0.156。 另 一 个 维度 的 简单 效应 分 析 
表明 ， 当 SOA 为 600 ms 时 , 线索 有 效 条 件 下 的 跨 
通道 对 应 效应 量 (11 ms) 显 著 大 于 线索 无 效 条 件 
(1 ms), 1(33) = 4.41, p < 0.001, Cohen’s d = 0.76, 
95% CI = [5.35, 14.50]; 而 当 SOA 为 1300 ms 时 ， 
线索 有 效 条 件 下 的 跨 通道 对 应 效应 量 (5 mas) 与 无 效 
条 件 下 (4 ms) 没 有 显著 差异 , 1(33) < 1。 


E 600ms [0D] 1300ms 


分 IOR 效应 ; 当 SOA 为 1300 ms 时 ， 跨 通道 对 应 一 
致 条 件 下 的 IOR 效应 量 (16 ms) 与 对 应 不 一 致 条 件 
(16 ms) 没 有 显著 差异 , 1(33) < 1。 
4.3 ”小结 
实验 3 通过 操纵 线索 和 目标 之 间 的 SOA 来 操 
纵 IOR 效 应 的 大 小 , 探究 IOR 效 应 的 大 小 对 视听 跨 
通道 对 应 的 影响 。 对 于 IOR 效应 量 的 分 析 发 现 ， 随 
着 SOA 的 延长 , IOR 效应 减弱 ,这 与 前 人 人 研究 结 
相 一 致 (Lupihiiez et al., 1997)。 综 合 统 计 结 果 发 现 ， 
当 SOA 为 600 ms 时 , IOR 效应 与 视听 跨 通 道 对 应 
产生 了 交互 作用 , 线索 有 效 条 件 出 现 了 视听 路 通道 
对 应 效应 ， 而 线索 无 效 条 件 下 没有 出 现 视 听 跨 通道 
对 应 效应 ,这 与 实验 1 的 结果 相 一 致 。 随 着 SOA 延 
长 至 1300 ms, 一 方面 线索 有 效 条 件 下 的 视听 跨 通 
道 对 应 效应 相 比 于 SOA 为 600 ms 时 显著 减弱 ， 另 
一 方面 IOR 效应 对 于 视听 跨 通 道 对 应 的 调节 作用 
减弱 ， 表 现 为 线索 有 效 性 与 跨 通 道 对 应 一 致 性 之 间 
交互 作用 不 显著 (线索 有 效 条 件 下 的 跨 通 道 对 应 效 
应 与 线索 无 效 条 件 没有 显著 差异 )。 当 前 结果 符合 
反比 效应 原则 (Meredith & Stein, 1983), BI SOA 
为 1300 ms 时 , IOR 效应 减弱 使 得 线索 化 位 置 视觉 
目标 的 感知 觉 显 著 性 相 比 于 SOA 为 600 ms 时 增强 ， 
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图 4 实验 3 不 同 SOA 条 件 下 不 同 线索 有 效 性 的 跨 通道 

对 应 效应 量 的 箱 线 图 


注 : 线条 自 上 而 下 为 上 限 、 上 四 分 位 数 、 中 位 数 、 下 四 分 位 数 、 
下 限 。 散 点 为 个 体 平均 跨 通 道 对 应 量 。*p < 0.05, n.s. 代 表 无 显 


4.2.3 IOR 效应 

首先 计算 出 不 同 SOA 条 件 下 不 同 线索 有 效 
性 下 的 IOR 效 应 量 ， 再 对 IOR 效 应 量 进行 2 (SOA: 
600 ms vs. 1300 ms) x 2 ( 跨 通 道 对 应 一 致 性 : 对 应 
一 致 vs. 对 应 不 一 致 ) 的 重复 测量 方差 分 析 。 

结果 显示 ，SOA 主 效应 显著 , F(1, 33) = 6.89, 
p= 0.013, np = 0.17, SOA 为 600 ms 时 的 IOR 效应 
量 (22 ms) 显 著 大 于 SOA 为 1300 ms 时 (16 ms), 随 
着 SOA 的 延长 , IOR 效应 量 显著 降低 。 跨 通道 对 应 
一 致 性 主 效应 显著 , F(1, 33) = 10.45, p = 0.003, np = 
0.24， 跨 通道 对 应 一 致 条 件 下 的 IOR 效应 量 (16 ms) 
显著 小 于 对 应 不 一 致 条 件 (21 ms), SOA 与 跨 通道 


更 强 的 视觉 信号 输入 引发 了 更 弱 的 视听 跨 通 道 对 
应 ; 同时 ， 由 于 IOR 效应 减弱 , 线索 化 位 置 与 非 线 
索 化 位 置 视觉 目标 的 感知 觉 显著 性 间 的 差异 减少 ， 
使 得 TOR 效应 对 于 视听 跨 通 道 对 应 的 调节 作用 减 
弱 ， 导 致 线索 化 位 置 和 非 线 索 化 位 置 的 视听 跨 通道 
对 应 效应 没有 显著 差异 。 不 过 , 由 于 在 1300 ms 条 
件 下 IOR 效 应 仍然 存在 , 线索 化 位 置 目标 感知 觉 显 
著 性 仍然 相对 较 低 ， 因 此 统计 结果 显示 线索 化 位 置 
的 视听 跨 通 道 对 应 效应 相 比 于 非 线 索 化 位 置 更 加 
稳定 ,此 外 ， 相 比 于 600 ms 条 件 下 , SOA 为 1300 ms 
时 跨 通 道 对 应 一 致 条 件 下 的 TOR 效应 量 与 对 应 不 
一 致 条 件 没有 显著 差异 ， 可 能 是 视听 跨 通 道 对 应 效 
应 的 减弱 导致 其 对 于 IOR 效应 的 抵抗 能 力 降 低 。 


5 讨论 


本 研究 在 空间 线索 -靶子 范式 的 基础 上 , 在 视 


对 应 一 致 性 的 交互 作用 显著 , FA, 33) = 6.40, p = 
0.016, np = 0.16。 简 音效 应 分 析 表 明 ， 当 SOA 为 
600 ms 时 ,路 通道 对 应 一 致 条 件 下 的 IOR 效应 量 
(17 ms) 显 著 小 于 对 应 不 一 致 条 件 (27 ms), (33) = 
4.41, p < 0.001, Cohen’s d = 0.76, 95% CI = [一 14.50， 
-$.35]， 视 听 路 通道 对 应 产生 的 促进 作用 抵消 了 部 


觉 目标 前 呈现 听觉 刺激 ,操纵 空间 线索 有 效 性 和 视 
听 跨 通道 对 应 一 致 性 ,考察 IOR 效应 对 于 视听 跨 通 
道 对 应 的 影响 。 实 验 1 发 现 IOR 效应 与 视听 跨 通 道 
对 应 产生 交互 ， 仅 在 线索 化 位 置 出 现 了 视听 跨 通道 
对 应 效应 。 实 验 1 的 结果 表明 ,视听 跨 通道 对 应 发 
生 在 早期 的 知觉 阶段 ， 因 而 会 与 同样 发 生 在 知觉 阶 
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段 的 IOR 效应 产生 交互 。 实 验 2 中 ， 当 上 听觉 刺激 为 
单一 音调 时 ，IOR 效应 没有 对 听觉 刺激 对 于 视觉 日 


位 置 之 间 存在 感知 上 的 对 应 而 不 需要 通过 语义 产 
生 。 而 一 些 不 存在 自然 相关 性 的 刺激 特征 之 间 , 或 


标的 促进 作用 产生 影响 ， 这 意味 着 只 有 听觉 刺激 与 
视觉 刺激 发 生 跨 通道 对 应 时 才 会 与 IOR 效应 产生 
交互 。 此 外 , 实验 2 发 现 声音 刺激 所 引发 的 警觉 
应 不 会 与 IOR 效应 产生 交互 ,进一步 支持 了 实验 1 
的 结果 是 由 IOR 效应 对 于 视听 跨 通道 对 应 的 影响 
所 导致 的 。 实 验 3 中 , 研究 通过 操纵 线索 与 目标 之 


是 更 复杂 的 刺激 之 间 的 跨 通道 对 应 可 能 需要 语义 
编码 来 产生 (Parise & Spence, 2012)。 此 外 ， 以 往 视 
听 跨 通道 对 应 的 语义 研究 中 ,实验 任务 鼓励 被 试 进 
行 语义 编码 (Martino & Marks, 1999), 也 可 能 导致 
了 语义 在 跨 通道 对 应 中 的 作用 增加 。 

以 往 有 研究 者 使 用 信和 号 检测 论 的 方法 对 响 度 


间 的 SOA 来 操纵 IOR 效应 的 大 小 , 结果 发 现 随 着 
TOR 效应 的 减弱 ,线索 化 位 置 的 视听 跨 通 道 对 应 效 
应 变 小 ， 且 IOR 效应 对 于 视听 路 通道 对 应 的 调节 作 
用 减弱 。 这 支持 了 存在 于 其 他 多 感觉 反应 增强 研究 
中 的 反比 效应 原则 也 适用 于 视听 路 通道 对 应 。 

实验 1 发 现 IOR 与 视听 路 通道 对 应 存在 交互 作 
用 ,根据 加 因素 法 反应 时 的 逻辑 ,两 个 因素 存在 交 
互 作用 则 两 个 因素 作用 于 同一 个 加 工 阶 段 (Sternberg， 
1969)。 因此, 本 研究 支持 视听 跨 通 道 对 应 发 生 在 与 
TOR 效应 相同 的 知觉 加 工 阶段 ， 这 与 以 往 一 些 研究 
发 现 一 致 (Kovig et al., 2010; Maeda et al., 2004)。 以 
往 部 分 研究 认为 视听 器 通道 对 应 发 生 在 语义 层面 
上 (Gallace & Spence, 2006; Martino & Marks, 1999), 
即 视 、 听 信息 激活 了 相同 的 语义 编码 ， 导 致 蜂 通道 
对 应 出 现 。 研 究 者 用 “高 ”“ 低 ”两 个 词 的 语音 代替 
高 、 低 频率 的 音调 ， 发 现 了 语音 与 空间 位 置 出 现 了 
和 声音 频率 与 空间 位 置 类 似 的 跨 通道 对 应 (Gallace 
& Spence, 2006)。 除 了 直接 相关 的 语义 ,人 研究 者 在 
音调 与 亮度 的 跨 通 道 对 应 中 , 将 亮度 刺激 换 为 “ 白 
天 ”“ 黑 夜 ” 这 种 语义 间接 相关 的 词 仍然 出 现 了 视听 
路 通道 对 应 (Martino & Marks, 1999)。 目 前 的 研究 则 
表明 ， 视 上 听 蜂 通道 对 应 并 不 一 定 要 通过 语义 产生 ， 
而 是 可 以 发 生 在 纯 知觉 层面 。 这 符合 一 些 研究 发 现 ， 
一 些 不 用 “高 ”“ 低 ”描述 音调 的 种 族 仍然 存在 音调 
与 空间 位 置 的 跨 通道 对 应 (Parkinson et al., 2012), 
而 一 些 尚未 习 得 语言 的 婴儿 也 表现 出 视听 跨 通 道 
对 应 (Dolscheid et al., 2014; Walker et al., 2010)。 当 
然 目 前 研究 结果 并 不 否认 语义 编码 可 能 在 跨 通道 
对 应 中 发 挥 作用 。 本 研究 中 的 跨 通道 对 应 是 两 个 基 
本 刺激 特征 (音调 、 空 间 位 置 ) 之 间 的 对 应 ， 而 声音 
频率 和 视觉 空间 位 置 本 身 就 存在 自然 的 相关 性 
(Spence, 2011), 在 自然 界 中 质量 较 重 的 生物 的 发 
声 频率 往往 较 低 ( 如 牛 的 叫 声 )， 而 较 重 的 生物 不 太 
可 能 存在 于 高 位 置 (如 空中 )。 同 时 ， 人 类 的 喉头 在 
发 出 较 低 的 音调 时 下 降 , 在 发 出 较 高 的 音调 时 上 升 
(Parkinson et al., 2012), 这 都 可 能 导致 音调 和 空间 


与 亮度 之 间 的 跨 通道 对 应 进行 研究 ， 发现 视 听 跨 通 
道 对 应 不 影响 被 试 的 知觉 ， 只 影响 被 试 的 决策 标准 
(Marks et al., 2003), 但 这 一 研究 与 通常 所 用 的 视听 
跨 通 道 对 应 的 范式 不 同 , 被 试 需要 判断 前 后 两 个 刺 
激 的 差异 ， 而 非 探测 或 辨别 单个 刺激 ， 因 此 可 能 造 
成 了 行为 反应 更 多 依赖 于 决策 过 程 。 总 之 , 不 同 刺 
激 之 间 的 视听 跨 通 道 对 应 可 能 存在 不 同 的 机 制 
(Spence, 2011), 不 同 的 实验 任务 也 可 能 产生 了 不 
同 的 结果 。 

在 实验 1 中 , 视听 跨 通道 对 应 仅 在 线索 化 位 置 
出 现 ,这 与 部 分 视听 觉 整 合 的 研究 结果 相 类 似 。 以 
往 视 听觉 整合 的 研究 中 ， 有 研究 发 现 IOR 效应 发 生 
时 , 线索 化 位 置 的 视听 觉 整 合 效 应 更 大 ( 唐 晓 雨 等 ， 
2020), 研究 者 使 用 反比 效应 原则 对 于 结果 进行 解 
释 ， 即 视 、 听 感觉 信号 的 输入 强度 会 影响 视听 觉 整 
合 效应 的 大 小 。 根 据 反 比 效应 原则 (Otto et al., 2013), 
视觉 或 听觉 感觉 信号 输入 强度 弱 时 ， 视 听觉 整合 效 
应 更 大 ; 而 视觉 或 听觉 感觉 信号 输入 强度 强 时 ， 视 
听觉 整合 效应 更 小 (Senkowski et al., 2011)。 反 比 效 
应 原则 最 初 是 在 动物 的 单 神 经 元 研究 中 发 现 的 
(Meredith & Stein, 1983; Stein & Meredith, 1993), 
行为 和 神经 上 的 人 研究 表明 人 类 被 试 的 多 感觉 反应 
增强 仍然 遵循 这 一 原则 (Rach et al., 2011; Senkowski 
et al., 2011; van de Rijt et al., 2019)。 反 比 效 应 原则 
本 质 上 反映 的 是 更 弱 的 宛 余 性 信息 引发 了 更 强 的 
整合 。 本 研究 的 视听 路 通道 对 应 中 ,尽管 视 、 听 刺 
激 在 形式 上 是 非 元 余 性 的 , 但 有 研究 者 认为 这 些 刺 
激 处 于 心理 坐标 中 的 相同 一 端 ， 如 高 音 和 高 空间 位 
置 都 意味 着 相 比 于 低音 和 低空 间 位 置 更 “高 ”的 一 
端 (McCormick et al，2018)， 因 此 可 能 存在 共同 的 
神经 编码 , 产生 了 元 余 性 ， 因 而 反比 效应 原则 可 能 
也 适用 于 视听 跨 通 道 对 应 。 当 TOR 效应 发 生 时 , 线 
索 化 位 置 的 目标 感知 觉 显 著 性 降低 (Slagter et al., 
2016), 视觉 信号 输入 减弱 ， 因 而 产生 了 稳定 的 视 
听 跨 通道 对 应 效应 ,而 非 线 索 化 位 置 相对 高 的 目标 
感知 觉 显 著 性 没有 产生 视听 器 通道 对 应 效应 。 
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实验 3 的 结果 发 现 ， 随 着 IOR 效应 减弱 ,线索 
化 位 置 的 视听 跨 通 道 对 应 效应 也 相应 减弱 ， 同 时 ， 
TOR 效应 对 于 视听 跨 通 道 对 应 的 调节 作用 减弱 ， 表 
现 为 线索 有 效 性 与 跨 通道 对 应 一 致 性 之 间 的 交互 
作用 不 显著 (线索 有 效 条 件 下 的 路 通道 对 应 效应 与 
线索 无 效 条 件 没 有 显著 差异 )， 直 接 验 证 了 反比 效 
应 原则 对 于 视听 器 通道 对 应 的 适用 性 。 在 多 感觉 反 
应 增强 的 研究 中 ,反比 效应 原则 不 仅 存在 于 无 意义 
的 视 、 听 刺激 整合 中 (Senkowski et al., 2011), t4 
在 于 多 感觉 输入 下 的 言语 知觉 中 (van de Rijt et al., 
2019), 人 研究 者 发 现 无 论 是 听觉 输入 还 是 视觉 输入 ， 
更 难以 感知 的 单词 输入 引发 了 更 大 的 多 感觉 反应 
增强 。 目前 的 研究 结果 支持 视听 跨 通 道 对 应 的 发 生 
也 符合 反比 效应 原则 ,扩展 了 反比 效应 原则 在 多 感 
觉 反应 增强 领域 的 适用 范围 。 

研究 同样 发 现 ， 视 听 跨 通道 对 应 也 对 IOR 效应 
产生 了 影响 。 具 体 来 讲 ， 当 SOA 为 600 ms 时 , 无 
论 在 实验 1 还 是 实验 3 中 ， 跨 通道 对 应 一 致 条 件 下 
的 IOR 效应 量 都 显著 小 于 对 应 不 一 致 条 件 ， 这 是 由 
于 听觉 刺激 与 视觉 目标 之 间 的 跨 通 道 对 应 增加 了 
视觉 目标 的 感知 觉 显著 性 ， 部 分 抵消 了 IOR 效应 导 
致 的 目标 感知 觉 显著 性 降低 。 而 随 着 SOA 延长 ， 跨 
通道 对 应 一 致 条 件 下 的 IOR 效应 和 不 一 致 条 件 没 
有 显著 差异 ,这 是 由 于 长 SOA 下 ,视听 路 通道 对 应 
效应 减弱 ,进而 抵抗 IOR 效应 的 能 力也 随 之 降低 ， 
从 而 使 得 不 同 对 应 一 致 性 条 件 下 的 IOR 效应 无 显 
著 差 异 。 

目前 研究 是 第 一 个 探究 IOR 效应 与 视听 跨 通 
道 对 应 之 间 关 系 的 研究 。 因 此 本 研究 需要 确保 实验 
中 的 交互 作用 的 确 是 由 TOR 效应 对 于 视听 跨 通 道 
对 应 进行 调节 所 产生 的 。 实验 2 在 实验 1 其 他 条 件 
保持 不 变 的 基础 上 , 通过 操纵 听觉 刺激 是 否 出 现 ， 
来 探究 单纯 的 声音 呈现 在 本 研究 中 的 影响 。 由 于 视 
听 跨 通道 对 应 是 一 种 相对 的 映射 (Chiou & Rich, 
2012), 需要 两 个 有 相对 高 、 低 关系 的 音调 才能 
高 、 低 位 置 相对 应 ， 因 此 单独 的 纯音 不 会 引发 视听 
跨 通道 对 应 。 结 果 发 现 TOR 效应 与 听觉 刺激 是 否 出 
现 不 存在 交互 作用 。 实验 2 的 结果 一 方面 验证 了 单 
纯 的 声音 呈现 不 会 与 1OR 效应 产生 交互 只 有 听觉 
刺激 与 视觉 刺激 发 生 跨 通道 对 应 才 会 与 IOR 效应 
产生 交互 。 男 一 方面 表明 听觉 刺激 所 产生 的 警觉 效 
应 没有 和 IOR 效 应 产生 交互 ， 排除 了 警觉 效应 对 于 
实验 结果 可 能 存在 的 混淆 。 有 研究 表明 ,听觉 刺激 
产生 的 警觉 效应 会 提高 被 试 的 感知 能 力 (Kusnir et 


al., 2011), 并 与 目标 的 感知 觉 显 著 性 产生 交互 作用 
(Botta et al., 2017), 表现 为 感知 显著 性 更 高 的 目标 
产生 了 更 大 的 警觉 效应 。 来 自行 为 和 神经 上 的 证 据 
表明 ， 和 警觉 效应 也 会 与 空间 注意 产生 交互 (Botta et 
al., 2014; 2017), 警觉 效应 相关 的 唤醒 系统 (arousal 
system) 会 与 注意 系统 存在 补偿 机 制 (Fischer et al., 
2008; Portas et al., 1998)。 但 实验 2 结果 表明 , 在 目 
前 研究 中 警觉 效应 与 外 源 性 线索 引发 的 IOR 效应 
缺乏 交互 作用 。 这 一 方面 可 能 由 于 ， 以 往 研究 所 比 
较 的 是 闪 上 、 阀 下 和 浆 刺 激 与 警觉 效应 之 间 的 相互 
作用 (Botta et al., 2017; Chica et al., 2016)， 而 本 研 
究 中 视觉 目标 出 现在 线索 化 位 置 和 非 线索 化 位 置 
都 完全 可 见 ，IOR 效应 发 生 所 导致 的 目标 感知 显著 
性 的 差异 不 足以 引发 警觉 效应 的 调节 。 另 一 方面 可 
能 是 警觉 效应 和 IOR 效应 沿 着 不 同 的 神经 通路 独 
立 发 生 。 尽管 有 研究 表明 ,警觉 效应 和 IOR 效应 都 
影响 刺激 的 感知 觉 显 著 性 (Botta et al., 2014; Prime 
& Jolicoeur，2009),， 且 都 与 额 顶 网 络 的 激活 有 关 
(Bourgeois et al., 2012; Kusnir et al., 2011), 但 警觉 
效应 是 以 一 种 自 上 而 下 的 方式 增加 对 于 刺激 的 感 
知 (Kusnir et al.，2011)， 即 通过 激活 个 体 的 额 顶 网 
络 以 放大 输入 刺激 的 强度 ; 而 外 源 性 线索 引发 的 
IOR 以 自 下 而 上 的 方式 影响 被 试 的 知觉 (Berdica et 
al., 2017; Jia et al., 2019), 通过 调节 输入 刺激 的 强 
EE, 影响 早期 视觉 区 域 对 于 额 顶 网 络 的 投射 (Botta 
et al., 2014)。 当 然 ， 警觉 效应 与 IOR 效应 之 间 的 关 
系 需要 神经 水 平 上 的 进一步 的 探究 。 目前 的 研究 排 
除了 警觉 效应 对 于 结果 的 有 影响， 支持 了 音调 与 空间 
位 置 之 间 的 视听 蜂 通 道 对 应 发 生 在 知觉 水 平 的 观点 。 


6 结论 


TOR 效应 对 于 视听 跨 通 道 对 应 产生 了 调 市 作 
用 , IOR 发 生 时 线索 化 位 置 出 现 了 稳定 的 视听 跨 通 
道 对 应 效应 ,而 非 线 索 化 位 置 没 有 出 现 。 听 觉 刺 激 
引发 的 警觉 效应 没有 与 IOR 效应 产生 交互 。 随 着 
TOR 效应 的 减弱 ,线索 化 位 置 的 视听 跨 通 道 对 应 效 
应 也 随 之 减弱 ， 且 LOR 效应 对 于 视听 路 通道 对 应 的 
调节 作用 减弱 。 当 前 研究 结果 支持 了 听觉 音调 与 视 
觉 空 间 位 置 之 间 的 视听 路 通道 对 应 发 生 在 知觉 水 
平 ,， 且 视 听 跨 通道 对 应 的 发 生 符合 反比 效应 原则 。 
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Abstract 

Different dimensions of visual and auditory stimuli can map to each other to influence human behavioral 
responses, a phenomenon known as audiovisual cross-modal correspondence. A common audiovisual cross- 
modal correspondence is between auditory tones and visual spatial locations, with individuals tending to map 
high-pitched sounds to high spatial location and low-pitched sounds to low spatial location. When a high-pitch 
sound is accompanied or preceded by a visual stimulus, the participants respond faster to visual stimuli 
presented in the high spatial location than to visual stimuli presented in the low spatial location, and vice versa. 
Researchers have different views on the level at which audiovisual cross-modal correspondence occurs. Some 
argue that audiovisual cross-modal correspondence occurs at the perceptual level, increasing the perceptual 
saliency of the stimulus, while others argue that audiovisual cross-modal correspondence occurs at a later 
semantic or decision level. As inhibition of return (IOR) in the attentional system can affect human perception, 
this study used a cue-target paradigm to explore the interaction between IOR and audiovisual cross-modal 
correspondence to elucidate the occurrence level and mechanism of audiovisual cross-modal correspondence. 
Audiovisual cross-modal correspondence between auditory tones and visual spatial locations was expected to 
occur at the perceptual level and therefore would be subject to the IOR effect occurring at the same processing 
level. 

The present study consisted of 3 experiments. Experiment 1 had a 2 x 2 within-subjects design; we 
manipulated the spatial cue validity (valid cue vs. invalid cue) and audiovisual cross-modal correspondence 
(congruent vs. incongruent). During the experiment, a fixation point was first presented in the middle of the 
screen for 750 ms. The box above or below the fixation point was then bolded for 50 ms, but this cue was not 
predictive of the spatial location of the target. After a time interval of 250 ms, a fixation point was presented in 
bold as a central cue. A central cue is commonly used in spatial IOR research, as it facilitates stable occurrence 
of IOR. The central cue was presented for 50 ms, and then the auditory stimulus (either high or low pitch) was 
presented for 50 ms. After a 200-ms interval, the visual target was presented for 100 ms in the box above or 
below the fixation point. The participants were instructed to perform a detection task for the presence of a visual 
target. The experimental design and procedure of Experiment 2 were identical to those of Experiment 1, except 
that the sound presented before the visual target was a single tone that was present or absent. Experiment 3 had a 
2 x 2 x 2 within-subjects design. Experiment 3 added a factor to Experiment 1, namely, stimulus onset 
asynchrony (SOA) between the cue and the target (600 ms vs. 1300 ms). 

In all three experiments, the overall accuracy (ACC) was very high; thus, no further statistical analysis was 
conducted for the ACC. In terms of reaction time (RT), the results of Experiment | showed that both spatial IOR 
and audiovisual cross-modal correspondence occurred. Importantly, there was an interaction between spatial cue 
validity and audiovisual cross-modal correspondence. Specifically, when the cue was valid, audiovisual 
cross-modal correspondence occurred, and when the cue was invalid, there was no audiovisual cross-modal 
correspondence. The results of Experiment 2 showed that the interaction between cue validity and sound 
presentation was not significant, and there was no evidence that IOR influenced the sound-induced facilitation 
effect. The results of Experiment 3 showed that the interaction among spatial cue validity, cross-modal 
correspondence congruency, and SOA was significant. Specifically, at an SOA of 600 ms, the interaction 
between spatial cue validity and cross-modal correspondence congruency was significant. When the cue was 
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valid, audiovisual cross-modal correspondence occurred, and when the cue was invalid, there was no audiovisual 
cross-modal correspondence. At an SOA of 1300 ms, the interaction between cue validity and cross-modal 
correspondence congruency was not significant, and cross-modal correspondence occurred in both valid-cue and 
invalid-cue conditions. The results of the analysis of the IOR effect showed that the IOR effect under the 600-ms 
SOA condition (22 ms) was significantly larger than that under the 1300-ms SOA condition (16 ms). As the SOA 
increased, the IOR effect size decreased. 

In conclusion, the present results suggested that the IOR effect, occurring at the perceptual level, moderated 
audiovisual cross-modal correspondence. When the IOR effect occurred, audiovisual cross-modal correspondence 
occurred in the cued location, but not in the non-cued location. The alerting effect induced by the sound did not 
interact with IOR. With the weakening of the IOR effect, the audiovisual cross-modal correspondence in the 
cued location decreased, and the moderating effect of the IOR effect on audiovisual cross-modal correspondence 
weakened. The present results support that the audiovisual cross-modal correspondence between auditory tones 
and visual spatial locations occurs at the perceptual level, and the occurrence of audiovisual cross-modal 
correspondence conforms to the principle of inverse effectiveness. 

Keywords audiovisual cross-modal correspondence, inhibition of return, cue-target paradigm, alerting effect 


